Những bản vẽ thiết kế đầu tiên của chiếc máy bay này có ảnh hưởng rất lớn từ loại Hawker P.1154 đang trong quá trình nghiên cứu tại Anh Quốc nhưng sử dụng hai động cơ R27-300. Những tính năng thao diễn siêu âm sẽ đặt ra nhiều khó khăn cho quá trình phát triển, vì thế nó được quyết định chỉ là một loại máy bay khá đơn giản với tốc độ giới hạn Mach 0,95. Dù chiếc Yak-38 và Yak-38M đều được phát triển từ loại Yak-36 'Freehand' cho căn cứ mặt đất, nhưng hầu như chúng không có điểm gì tương đồng.

Không giống như mẫu máy bay cất hạ cánh thẳng đứng và sử dụng đường băng ngắn rất thành công của Anh là Sea Harrier, thiết kế Yakovlev Yak-38 của Liên Xô gặp nhiều vấn đề trong vận hành.[1]

Nguyên mẫu VM-01 được hoàn thành ngày 14 tháng 4 năm 1970, và ngày hôm sau được gửi tới LII của zhukovskii cho những cuộc thử nghiệm trong tháng 5/6 năm 1970. Mikhail Deksbakh đã điều khiển chuyến bay đầu tiên ở hình thức quy ước thông thường ngày 15 tháng 1 năm 1971. Chiếc VM-03 thực hiện chuyến bay cất cánh đường băng ngắn đầu tiên ngày 25 tháng 5 năm 1971. Những cuộc thực nghiệm trên biển trên bong tàu tuần dương Kiev được tiến hành năm 1975. 231 chiếc Yak-38 đã được sản xuất, gồm cả 38 chiếc huấn luyện (Yak-38U). Chúng được bố trí trên bốn chiếc tàu sân bay lớp Kiev.

Một đặc điểm đáng chú ý của chiếc Yak-38 là nó có thể tự động hạ cánh. Chiếc máy bay có thể kết nối từ xa với một hệ thống máy tính trên tàu sân bay cho phép nó được hướng dẫn hạ cánh xuống boong hoàn toàn tự động không cần sự can thiệp của phi công.